Si Giám là chút của Ngự sử đại phu Si Lự nhà Hán. Ông sớm mất cha, nhà nghèo, học khắp các sách, trong lúc cày ruộng vẫn không ngừng ngâm vịnh.

Giám nhờ học vấn mà nổi tiếng, không chịu ra làm quan ở châu. Ông được Triệu vương Tư Mã Luân gọi làm Duyện, biết Luân chẳng có ý muốn làm bề tôi, xưng bệnh rời chức. Khi Luân soán ngôi (301), đồng đảng đều được thăng thưởng, chỉ có Giám đóng cửa giữ mình, không chịu thất tiết. Tấn Huệ đế phục vị, được làm Tham tư không quân sự [2], dần thăng đến Thái tử Trung xá nhân, Trung thư Thị lang. Đông Hải vương Tư Mã Việt gọi làm Chủ bộ, đề cử hiền lương, Giám không đến. Chinh đông tướng quân Cẩu Hi gọi làm Tùng sự Trung lang. Hi cùng Việt đang tranh giành quyền chính, nên Giám không nhận lời. Anh họ là Si Húc, làm biệt giá của Hi, sợ vạ đến mình, khuyên Giám nhận lời, ông rốt cục không đổi ý, Hi cũng không ép.